Xã Khánh Phú có quần thể di tích Đền Thượng - Chùa Phúc Long được công nhận là di tích quốc gia.

Bản 'Tự phả chùa cổ Ðông Hải', do Minh Tuệ thiền sư trụ trì chùa chép năm Canh Tý (1840), cũng theo Ngọc phả thời Lê do Quản giám bách thần Nguyễn Bính soạn năm Hồng Phúc (1557) ghi rằng: Chùa này có từ thời Ðinh - Tiền Lê, gần biển nên gọi là chùa Ðông Hải. Thời trẻ Ðào Cam Mộc từng tu học, giỏi võ, thông văn được sư tổ cho đi tìm minh quân, sau đó ông vào Hoa Lư làm quan cho nhà Tiền Lê, nhà Lý. Tháng 6-1010, Lý Thái Tổ phong Ðào Cam Mộc chức Thiên Ðô tiên phong tướng quân chỉ huy cuộc dời đô, tại đây triều đình làm Lễ tế cáo trời đất, xuất quân nên từ đó đổi tên là chùa Thiên Ðô.

Lễ hội làng Yên Vệ hàng năm là một lễ hội nổi tiếng ở Ninh Bình. Lễ hội được tổ chức vào ngày mồng 4 tháng giêng tại Đền Thượng suy tôn Tam thánh tổ gồm các thiền sư Minh Không, Giác Hải và Từ Đạo Hạnh. Sau phần lễ có thi đấu vật.